* Построение частотного словаря
* Версия на фактах i;<слово>;<частота>
* Программа КОНЦЕПТ, 16.05.2011, www.gendoc.ru

присвоить ПУТЬ [$ТекущийКаталог] 
присвоить ВХОДНОЙ_ФАЙЛ  ''
присвоить ЧАСТОТНЫЙ_СЛОВАРЬ "[ПУТЬ]_словарь_.txt"
присвоить ВЫХОДНОЙ_ФАЙЛ1 "[ПУТЬ]_словарь_по_алфавиту_.txt"
присвоить ВЫХОДНОЙ_ФАЙЛ2 "[ПУТЬ]_словарь_по_частотам_.txt"

ввести переменная ВХОДНОЙ_ФАЙЛ 'Имя входного файла:'
если (файл существует $результат [ВХОДНОЙ_ФАЙЛ] )
  Построить_частотный_словарь
  Словарь_по_алфавиту
  Словарь_по_частотам
конец

функция Построить_частотный_словарь
  время таймер
  присвоить СЛОВ 0

  файл читать [ВХОДНОЙ_ФАЙЛ]
  файл читатьСтроку строка

  пока [$СтрокаПрочитана]
    строка кСпискуСлов строка $
    строка строчные список_слов [строка] 

    для слово [список_слов]
      увеличить СЛОВ
      если (вычислить остаток $результат [СЛОВ] 1000 ) = 0
        >[СЛОВ]
      конец
   
      * Слова размером 1 и числа исключаются    
      если (строка размер $результат [слово] ) > 1
        если (вычислить являетсяЧислом $результат [слово] ) == [$Ложь]     
          факт понятие номер_факта [слово]
          если [номер_факта] != {}
            список взять частота (факт взять $результат [номер_факта] ) 3
            увеличить частота
            факт присвоить [номер_факта] "i;[слово];[частота]"   
          иначе
            факт добавить "i;[слово];1"
          конец
        конец
      конец
    следующий
    файл читатьСтроку строка
  цикл

  данные сохранить [ЧАСТОТНЫЙ_СЛОВАРЬ]
  показать сообщение "Словарь построен. Слов:[СЛОВ] Время:[$Таймер]"
возврат

функция Словарь_по_алфавиту
  факт сопоставитьМножество слова "i;[?слово];[?]"
  файл писать [ВЫХОДНОЙ_ФАЙЛ1]
  для [слова]
    факт понятие номер_факта [$ОбъектЦикла]
    список взять частота (факт взять $результат [номер_факта] ) 3
    >[$ОбъектЦикла] - [частота]
  следующий
  показать сообщение 'Частотный словарь по алфавиту вынружен.'  
  файл конецЗаписи
  показать текст [ВЫХОДНОЙ_ФАЙЛ1]
возврат

функция Словарь_по_частотам
  файл писать [ВЫХОДНОЙ_ФАЙЛ2]

  факт сопоставитьМножество частоты "i;[?];[?частота]"
  список упорядочитьЧисла частоты [частоты]
  список инвертировать частоты [частоты]
  
  для [частоты]
    понятие под слова [$ОбъектЦикла]
    список размер слов [слова]
    >Частота:[$ОбъектЦикла] Слов:[слов] 
    для [слова]
      >  [$ОбъектЦикла]
    следующий
    >
  следующий
  показать сообщение 'Словарь по частотам выгружен.'  
  файл конецЗаписи
  показать текст [ВЫХОДНОЙ_ФАЙЛ2]
возврат